Các đảo đều không có người ghé qua cho đến giữa thập niên 1850, và rất có thể chưa từng có người nào nhìn thấy đảo cho đến thời gian đó. Peter Kemp, một người đánh bắt hải cẩu người Anh, là người đầu tiên cho rằng mình đã nhìn thấy một hòn đảo vào ngày 27 tháng 11 năm 1833, từ chiếc thuyền hai buồm Magnet trong cuộc hành trình từ Kerguelen đến châu Nam Cực và được cho là đã ghi đảo lên hải đồ năm 1833.

Một người đánh bắt hải cẩu người Mỹ, Thuyền trưởng John Heard, trên chiếc tàu Oriental, đã nhìn thấy hòn đảo vào ngày 25 tháng 11 năm 1853, trên đường từ Boston đến Melbourne. Ông đã báo cáo sự khám phá của mình một tháng sau đó và đặt tên hòn đảo là tên mình. Thuyền trưởng William McDonald trên chiếc Samarang đã khám phá ra quần đảo McDonald gần với Đảo Heard sáu tuần sau đó, vào ngày 4 tháng 1 năm 1854.

Không có cuộc đổ bộ nào lên quần đảo cho đến tháng 3 năm 1855, khi những người đánh bắt hải cẩu từ tàu Corinthian do Thuyền trưởng Erasmus Darwin Rogers dẫn đầu đã đặt chân lên bờ, tại nơi được gọi là Điểm Oil Barrel. Trong thời kỳ đánh bắt hải cẩu từ năm 1855–1880, một số nhà đánh bắt hải cầu người Mỹ đã ở trên đảo trong vòng 1 năm hoặc hơn, trong trống những điều kiện kinh khủng trong những ngôi lều hôi thối và tăm tối, cũng ở Điểm Oil Barrel. Vào thời điểm cao nhất ở đó có đến 200 người sinh sống. Đến năm 1880, đa số hải cẩu bị tiêu diệt và những người săn bắt rời khỏi đảo. Nói chung, hơn 100.000 thùng dầu hải cẩu voi được làm ra trong giai đoạn đó.

Có một số xác tàu chìm xung quanh quần đảo.

Quần đảo trở thành lãnh thổ của Úc từ năm 1947, và trở thành Di sản thế giới vào năm 1997.